为了解决多域卷积神经网络（MDNet）在目标快速移动和外观剧烈变化时发生的模型漂移问题，提出了自注意力多域卷积神经网络（SAMDNet），通过引入自注意力机制从通道和空间两个维度来提升追踪网络的性能。首先，利用空间注意力模块将所有位置上的特征的加权总和选择性地聚合到特征图中的所有位置上，使得相似的特征彼此相关；然后，利用通道注意力模块整合所有特征图来选择性地强调互相关联的通道的重要性；最后，融合得到最终的特征图。此外，针对MDNet算法因训练数据中存在较多相似但属性不同的序列所造成的网络模型分类不准的问题，构造了复合损失函数。该复合损失函数由分类损失函数和实例判别损失函数组成，首先，用分类损失函数来统计分类的损失值；然后，利用实例判别损失函数来提高目标在当前视频序列中的权重，抑制其在其他序列中的权重；最后，融合两项损失作为模型的最终损失。在目前广泛采用的测试基准数据集OTB50和OTB2015上进行实验，结果表明所提出的算法在成功率指标上相比2015年视觉目标跟踪挑战（VOT2015）的冠军算法MDNet分别提高了1.6个百分点和1.4个百分点，在精确率和成功率指标上优于连续域卷积相关滤波（CCOT）算法，在OTB50上的精确率指标优于高效卷积操作（ECO）算法，验证了该算法的有效性。